activities

latest

false

重要 :

请注意此内容已使用机器翻译进行了部分本地化。

用户界面自动化活动

Last updated 2024年8月13日

v24.10

v24.10.3

发布日期：2024 年 8 月 12 日

构建用户界面自动化

当在 Studio Web 的 Automation Ops 策略中将“允许 Autopilot”设置为“否”时，信息屏幕截图框右上角的“使用 Autopilot 生成用户界面自动化活动”图标将更改为使用录制器的“框架”。

v24.10.2

发行日期：2024 年 7 月 16 日

控制 Autopilot 功能

备注：

勘误 - 添加于 2024 年 8 月 12 日

第二个选项是添加 AI Trust Layer 策略并禁用“启用通过 AI Trust Layer 调用第三方 AI 模型”切换按钮，目前不会限制您使用适用于用户界面自动化的 Autopilot 录制器生成活动。

默认情况下为所有用户启用 Autopilot。

您可以通过两种方式通过 Automation Ops 监管策略禁用 Autopilot 功能：

通过添加Studio Web策略并将允许 Autopilot选项设置为否。
通过添加AI 信任层策略并禁用“启用通过 AI 信任层调用第三方 AI 模型”切换按钮。

禁用这两个选项中的任何一个后，您仍然可以使用 Autopilot 录制器进行用户界面自动化，但无法通过文本提示生成活动，您只能在录制器中手动添加活动。

v24.10.1

发行日期：2024 年 7 月 1 日

用于用户界面自动化的 Autopilot 录制器

我们很高兴向您介绍最新功能：用于用户界面自动化的 Autopilot 录制器。Studio Web 中提供了此 AI 驱动的工具，可用于构建用户界面自动化序列并将其填充到画布中。您可以通过自然语言提示词生成活动，也可以在录制器中手动添加活动。

“录制器”允许您使用“测试”和“继续‘提示词’”按钮浏览要自动化的应用程序。“测试”按钮会执行您当前已生成或构建的所有活动，从而将您转到下一个应用程序状态。如果提示词未完全覆盖，“继续‘提示词’”会生成必要的活动以完成提示词。这两个按钮协同工作，可无缝推进构建用户界面自动化序列的流程。

有关录制器的更多详细信息，请参阅“用于用户界面自动化的 Autopilot 录制器”页面。

有关 Autopilot 计划的广泛概述，请查看 Autopilot 指南。

v24.10.0

发行日期：2024 年 7 月 1 日

常规改进

添加了对BasicTreeTable和JxTreeTable Java 控件的自定义支持。
现在可以在编码工作流中使用“关闭弹出窗口”、“设置运行时浏览器”和“设置值活动”。
为了增强安全性，输出 .xaml 文件不再包含“友好名称”属性。
在 DevExpress 网格的“提取表格数据”活动中添加了支持。
UI-USG-011 工作流分析器规则现在会忽略带有 idx=* 的选取器，因为这是非贪婪搜索中使用的有效用例。

用户界面自动化新式活动

在 Attended 模式下运行或在 Studio 中调试时，如果由于找不到用户界面元素而停止执行，则屏幕上会显示一个对话框。以前仅显示错误消息。现在，对话框中有几个选项可让您决定下一步操作。可以通过“就运行时错误询问用户”项目设置（“用户界面自动化新式”>“通用”）启用此功能。在调试模式下，您可以在执行结束时保存更改，以便下一个工作流运行直接使用正确的选取器开始。除了“重试”、“忽略”和“继续”选项外，您还可以选择“指定元素”。此特定选项仅适用于以下活动：

选中/取消选中
检查元素
单击
获取属性
获取文本
高亮显示
悬停
插入 Js 脚本
键盘快捷方式
选择项目
设置文本
截取屏幕截图
键入
使用应用程序/浏览器

新的“设置运行时浏览器”活动使您可以轻松配置在整个自动化执行过程中使用的浏览器类型。除非被另一个“设置浏览器运行时”活动覆盖，否则此选择在执行结束前一直有效。此增强功能简化了在不同浏览器上运行自动化的流程，从而最大程度地减少了手动配置选取器和复制测试代码的需求。该活动在 Windows 和跨平台项目中可用。

新的“关闭弹出窗口”活动旨在解决意外弹出窗口导致的自动化中断问题。此基于 AI 的活动通过在语义上匹配为可能的关闭按钮配置的标签，可高效关闭任何检测到的弹出窗口，无论它们是原生、警示、在浏览器页面还是桌面应用程序中的弹出窗口。该活动在 Windows 和跨平台项目中可用。

跨平台工作流现在支持“注入 JS 脚本”活动。此外，此活动现在可以利用新式用户界面自动化的功能，通过统一目标来识别目标，并使用对象存储库中存储的元素。

对于新项目，请验证是否已为“单击”、“悬停”、“键盘快捷键”和“输入信息”活动默认启用“验证执行”。可通过将“ 始终自动验证输入的文本 ”项目设置（ “用户界面自动化新式元素” >“ 验证执行 ”）设置为 False ，以在“ 输入 ”活动中禁用此功能。对于单击、悬停和键盘快捷键活动，您需要禁用对单击、悬停、键盘快捷键活动的显示验证项目设置。

现在，“检查应用程序状态”活动允许您在“使用应用程序/浏览器”活动中选择“在任何应用程序中指定”选项，从而在检查当前应用程序卡范围之外的窗口或元素的应用程序状态时无需使用新的应用程序卡。

在跨平台项目的“使用应用程序/浏览器”活动中公开了“参数”属性。该属性已可用于 Windows 项目。

现在，您可以从活动本身内部打开 URL，从而在跨平台项目的“使用浏览器”活动中更好地控制该活动中的目标 URL。如果 URL 已打开，您可以将其设为焦点，或在新选项卡中再次打开。

以下工作流分析器规则以前专属于传统活动，现在也适用于新式活动：

UI-ANA-016
UI-ANA-017
UI-DBP-013
UI-PRR-004
UI-REL-001
UI-SEC-004
UI-USG-011

在启用模糊选取器作为定位方法的目标搜索失败的情况下，为帮助您解决匹配问题，屏幕上会显示一条警告消息，突出显示最接近的匹配项。如果通过添加或删除选取器节点来更改默认选取器，或者由于存在多个匹配项而导致搜索失败，则不会列出最接近的匹配项。

在“无法识别的目标应用程序”对话框中添加了“不再显示”复选框。选中后，如果应用程序未处于正确状态而您要编辑目标，则系统不会再显示对话框，并且会直接将您带到选择屏幕。

通过收窄矩形边框并将标签放置在可以清楚看到的位置，优化了目标和锚点的重叠行为。

现在，重复的目标可以按需显示在选择屏幕中。要检查/隐藏重复目标，请选择“显示/隐藏重复项”切换按钮。

通过根据元素类型自定义可用活动，增强了应用程序/网页录制器功能。现在，指示元素时会显示不同的活动，从而可以更快地查找和选择相关操作。提供以下活动：

默认为所有元素：
- 单击
- 截取屏幕截图
- 高亮显示
对于标签：
- 获取文本
对于可编辑文本框：
- 获取文本
- 键入
对于下拉列表和列表框：
- 选择项目
- 获取文本
对于按钮：
- 单击
- 获取文本

现在，您可以在选择屏幕中检查变量的当前值，而无需访问变量上下文菜单。为此，只需将鼠标悬停在选取器标签中的变量上，该值就会显示为工具提示。

在离线模式下编辑时，在“ 表格提取 ”向导中添加了“ 启动应用程序 ”选项。

基于触发器的 Attended 自动化

在“应用程序事件触发器”活动中添加了以下两种新的事件类型，可用于为 WND、CTRL 和 UIA 用户界面元素接受监控：“单击”和“按下键”。到目前为止，可以分别使用“单击事件触发器”或“按下键事件触发器”活动来单独监控“单击”和“按下键”事件。

增强的支持，包括监控 Edge IE 模式原生事件，主要帮助只能在 Internet Explorer 上运行的旧版应用程序。现在，通过“应用程序事件触发器”活动，使用 Edge IE 模式的浏览器页面也支持 WEBCTRL 元素的所有现有网页事件。

基于使用 Slack、Discord 或 Electron 等原生嵌入式浏览器而自动化独立应用程序的功能，我们在本发行版中纳入了对托管嵌入式浏览器（如 CefSharp）的原生监控支持。

为基于 Microsoft 用户界面自动化框架构建的应用程序（例如 Word、Outlook、Excel 或 OneNote）添加了对监控“文本选择更改”事件的支持。

为使用嵌入原生应用程序中的 WebView2 或 Qt WebView 微件加载，且具有活动 CSP 的网页添加了 HTML 原生监控支持。需要将“启用 WebView2 原生自动化”项目设置设为 True。

为通过 <html> + <webctrl> 选取器标识的网页添加了几个 HTML 窗口事件：

已开始选项卡导航
已完成选项卡导航
窗口焦点已更改
窗口边界已更改
窗口已创建
窗口已删除

语义活动

通过我们在 Windows 和跨平台项目中提供的最新语义活动，体验表单自动化的简单性和有效性。

在设计“提取表单数据”活动时，已考虑到表单数据。它创建自定义类型对象，这些对象是沿自动化管道传递结构化数据的理想令牌。这些自定义类型对象还可用于“填充表单”或“设置值”活动，或者用于填充数据实体。

“填写表单”活动可以使用任何结构化数据对象作为输入：DocumentData、Dictionary、DataEntity、DataRow、DataTable、JSON 文件，甚至是自定义类型，例如由“提取表单数据”活动作为输出生成的对象。在运行时系统会自动提取数据架构，将 AI 在语义上与目标表单字段进行匹配，然后将 AI 内容输入到相应的表单中。您只需指定数据源，系统就会自动从“使用应用程序/浏览器”活动中选取目标表单。

“设置值”活动是“填写表单”活动的简化版本，仅侧重于一个用户界面元素。此活动简化了数据输入流程。无论表单元素为何，无论是文本框、下拉列表、复选框还是单选按钮等，此活动都会适应元素类型，从而增强表单自动化流程。它甚至可以处理日期选取器和单选按钮组。

Computer Vision

Computer Vision 已成功转换为跨平台项目，现在完全可在统一目标中使用。这是向前迈出的重要一步，因为它允许您在没有选取器的情况下自动化场景，不仅在基于 Windows 的项目中，而且在 Studio Desktop 跨平台项目和 Studio Web 中。

此版本引入了我们新的 Vision Transformer AI 模型。借助新的 Vision Transformer 架构，基于 Computer Vision 的自动化中的用户界面元素检测全面变得更快、更精确。这可减少错误并加快自动化工作流。它在表格检测方面有特别显著的改进，支持各种表格结构和大小。由于对 GPU 的要求更高，此模型仅在 UiPath 云服务器上可用。

在“选择项目”活动中添加了完整的 Computer Vision 支持，不仅支持纯 Computer Vision 场景，还支持选取器和 Computer Vision 的混合场景。当选取器不可用时（纯 Computer Vision 场景），该活动现在会复制“CV 下拉菜单选择”活动的功能。当选取器可用（混合场景）但在运行时失败时，Computer Vision 会触发自我修复流程，该流程根据 Computer Vision 信息执行新的选取器搜索，然后将搜索结果用于执行。此外，日志中会显示一条警告消息，其中包含有关有问题的选取器和自我修复结果的详细信息，使您能够使用新发现的选取器修复自动化问题。

“获取属性”活动现在也支持单选按钮目标，但不支持复选框。这通过使用新属性 checked 来完成，该属性根据 Computer Vision AI 模型检测返回布尔值（True 或 False）。

您可以定义一个自定义点，用于将滚动事件发送到目标元素。以前，滚动事件是在目标元素的中间发送的。现在，这可以通过以下方式完成：通过“CV 屏幕作用域”活动中的“滚动偏移量”属性，使用“Computer Vision”活动中的运行时自动滚动功能，或者在提取可滚动表格或可滚动文本时，使用“CV 提取表格”和“CV 获取文本”活动中的“内容滚动偏移”属性。

当定位方法的模糊选取器无法找到自动锚点时，Computer Vision 现在将介入并提供由 AI 模型生成的自动锚点。

要在“使用浏览器/应用程序”和“CV 屏幕作用域”活动中从默认的 UiPath 屏幕 OCR 引擎切换到 UiPath 扩展语言 OCR 引擎，您必须提供 Computer Vision API 密钥。这可以在“API 密钥”属性中的活动级别或在“项目设置”>“OCR”>“UiPath 扩展语言 OCR”>“API 密钥”下完成。

出于计算机视觉运行时分析的可追踪性和调试速度的目的，现在在 HTTP 请求的标头中发送设计时屏幕 ID。

SAP

Studio 中提供了新的项目设置：“项目设置”>“用户界面自动化传统”>“SAP”>“启用 SAP 监控”。此设置允许链接已执行的事务和测试用例。当“启用 SAP 监控”设置为“True”时，系统将在运行时收集有关已执行事务及其依赖项的信息，并将其发送到 Test Manager。此设置当前仅适用于 Studio 中的测试自动化项目。未来的版本将添加对其他项目类型的支持。

我们添加了对新的 SAP WebGUI 元素的支持：SAP 状态栏。现在，您可以使用“SAP 读取状态栏”活动从 SAP 状态栏中提取消息类型和文本。

浏览器扩展程序

为了配合 Google 从 2024 年 6 月开始弃用 Chrome Manifest V2 (MV2) 的时间表，适用于 Chrome 和 Edge 的现有 Studio Web 扩展程序已更新为与 Manifest V3 完全兼容，同时为这两种浏览器保留相同的扩展程序 ID。接收新的 MV3 扩展程序不需要执行任何操作，当您重新打开浏览器时，这些扩展程序将自动更新。

如果您将 Chrome 和 Edge 扩展程序升级到 24.10，则在通过组策略安装扩展程序时，不再需要手动将“开发者工具可用性”策略值设置为 1。

Safari 用户界面自动化支持现已在预览版中提供。全新的 UiPath Safari 扩展程序可让您使用 macOS 上的 Safari 在 Studio Web 中设计用户界面自动化，并通过 macOS 上的 UiPath Assistant 和 Robot 在 Safari 中执行浏览器自动化。

对象存储库

我们对对象存储库进行了重大改进，添加了适用于以前不支持的场景的功能。以下段落提供了每项改进的综合概述。

Studio Desktop 现已将对对象存储库的支持（以前仅限于 Windows）扩展到跨平台。如果还能够在跨平台类型项目中创建和重用用户界面对象，则可以加快自动化开发流程，降低维护成本，并更轻松地调整受应用程序或用户界面元素的选取器结构更改影响的自动化。

Clipboard AI 的高级用户界面提取引擎合并了 Computer Vision 和 DOM 提取程序。利用该引擎的强大功能，“捕获全部”功能现在可以捕获网页中的所有元素，包括可滚动内容和超链接。在此之前，它仅依赖于 Computer Vision 模型进行元素检测，因此只能提取可见元素。现在，通过添加 DOM 提取程序，它可以提取所有元素，而不仅仅是可见元素，从而让您可以将它们添加到对象存储库中。

现在，您可以使用“高亮显示”图标来高亮显示提取的元素，同时在“捕获元素”窗口中保持当前的选择。

简化了在对象存储库中创建、集成和编辑屏幕、节点和应用程序的用户体验，确保流程全程更高效。以前，该流程需要您手动浏览多个确认屏幕。现在，对象存储库会自动将新对象分配给适当的应用程序或屏幕。如果缺少任何父对象，则对象存储库会自动创建这些父对象。

如果您已经在没有对象存储库的情况下创建了自动化，并且希望将活动和目标添加到对象存储库中，则可以使用新的“同步对象存储库”向导。这将同步所有用户界面交互活动，并在本地存储库中创建一个有名称的应用程序、一个有名称的屏幕以及相应的用户界面元素。在过去，您必须手动将每个应用程序、屏幕和元素添加到对象存储库中。现在，整个项目将立即添加到“对象存储库”本地库中。这同时适用于新式活动和传统活动。对于传统活动，仅能添加使用完整选取器的目标，而无法添加使用部分选取器的目标。此外，您现在可以包括现有库和您指定将自动同步的匹配对象。

当活动链接到对象存储库时，在目标属性面板中对本地对象所做的编辑现在会自动传播到对象存储库中的相应描述符，您无需手动同步。

链接到只读对象的活动的目标属性将自动禁用。以前，这些目标属性会在属性面板中保持活动状态，这可能会导致混淆。现在，如果要编辑目标属性，您可以选择取消链接对象并进行本地编辑。但是，请注意，这些更改不会传播到对象存储库中的实际描述符。

我们对用户界面自动化活动的汉堡菜单进行了标准化，将含有链接到本地对象存储库的目标的活动选项与常规活动选项保持一致。以前，某些选项（例如“在屏幕上指定目标”或“编辑目标）”不适用于链接到对象存储库的活动。我们还对强制执行或不强制执行对象存储库时的“使用应用程序/浏览器”活动的指示功能进行了标准化。

添加了对在与对象存储库同步时编辑“提取表格数据”活动的用户界面元素的支持。

错误修复

用户界面探测器在尝试绕过使用 iframe 时未能验证 SAP Interaction Center 的选取器。
之期使用 32 位可执行文件运行时，终端 Java 应用程序会出现意外行为；现在可以顺畅地处理 32 位和 64 位可执行文件。
导航至 Kendo Angular 表格的第二页时，“提取表格数据”活动未能成功抓取数据。
修复了从包版本 21.10.6 开始发生的 Java 应用程序弹出窗口问题，该问题影响了设计时体验。
当项目名称包含日语字符时，中文、日语和韩语 OCR 在“使用应用程序/浏览器”活动中不能作为自定义 OCR。
指定目标后，从计算机视觉屏幕作用域中删除 OCR 引擎活动时，引发 Value cannot be null 异常。
从计算机视觉屏幕作用域中删除 OCR 引擎活动时引发 There is no row at position 0 异常，并且悬停在表格单元格上方的操作持续存在。
保存并关闭选取器时，不会保留选取器微件已识别的网页上的元素。
在多个顶级窗口中托管网页控件的应用程序中，无法与嵌入式网页微件交互。
在并行序列中取消“单击”活动后，“Try Catch”活动无法捕获引发的异常。
从静态 HTML 页面提取大型表格数据会导致错误，并降低所有受支持浏览器的速度。此修复不包括 Internet Explorer。
以前，“从剪贴板获取”活动可能无法从剪贴板获取最新值。
当“输入模式”属性设置为“模拟”时，“输入”活动将忽略在特殊字符之前插入的文本。
当所选项目包含带通配符的文本时，“选择项目”活动和特定于 SAP 的“选择菜单项”活动失败。
在记事本应用程序中指示行会失败。
使用福昕阅读器时遇到一些问题。“提取表格数据”活动无法从扫描的 PDF 文件中提取中文字符。此外，UI Explorer 无法触发文档辅助功能。并且，即使在 Attended 模式下运行自动化正常，在 Unattended 模式下搜索应用程序也会失败。
之前从存储在共享驱动器（如 SharePoint）上的打开的 Word 文档的功能区中指明文档名称时，您会遇到无效选取器的错误。
之前通过硬件事件发送鼠标输入时，Salesforce 上嵌套 iframe 中的 HTML 元素不会自动滚动到视图中。
在某些情况下，UiPath Remote Runtime 需要更长时间才能从远程计算机返回“获取文本”结果。解决方法是，在“使用应用程序/浏览器”活动中将“Windows 附加模式”设置为“单一窗口”而不是“应用程序实例”。请注意，“单一窗口”选项无法与新的应用程序窗口或弹出窗口交互。为这些交互使用新的“应用程序/浏览器”活动。
从 Windows - 旧版项目升级到 Windows 项目时，由于选取器生成不正确，“提取表格数据”活动无法提取列值。
下载最新版本的 WebDriver 后，“打开浏览器”活动会将其存储在 WebDriverExe 文件夹中，但仍引用以前的版本，而不是应用当前版本。尝试打开浏览器时，系统会显示不兼容性错误消息。
将“在元素出现时”、“在元素消失时”、“在图像出现时”和“在图像消失时”传统活动添加到设计器面板时，您会收到验证警告。